de Charrin Théotime - TP2

TP2 - Algorithme EM et Importance Sampling

Exercice 1 - Distributions discrètes

Exercice 2 - Mixture Gaussienne

On voit bien que le nombre de clusters est aberrant

C'est probablement dû à la log-vraisemblance qui est assez faible (-75 000 à la convergence), ce qui rend la "pénalité" induite par le nomnbre de clusters assez négligeable.

En effet, la pénalité évolue en $\propto 5*\text{dof}(p)$ Avec des degrés de liberté entre 5 et 100 environ, ce qui est très loin en ordre de grandeur des 75 000 de log-vraisemblance.

Exercice 3 - Importance sampling

On voit bien que l'espérance de f(x) sous p semble converger vers 0.76 environ. Pour 10 000 échantillons tirés, on a une variance de 10-4 ce qui est tout à fait acceptable.

La "vraie" espérance est assez proche de ce que nous obtenons mais pas égale, c'est probablement dû à notre choix de q, qu'il faut optimiser.

Les résultats sont aberrants et inconsistants car q n'est plus sur le support de p. Les poids d'importance $w=\dfrac{p}{q}$ n'ont donc plus de sens. Il n'y a pas de convergence des moyenne, la variance est importante.

On voit bien que les poids convergent si $\mu=0.8$ et restent bornés ($w=\dfrac{p(x)}{q(x)}<\gamma$). Les poids semblent maximaux quand p et q sont proches, p au-dessus de q.

Tandis que si $\mu=6$ il n'y a plus de support, les poids divergent très vite à gauche, et tendent très vite vers 0 à droite.

On observe un gap important entre la 1e itération et la seconde car à la 1e la divergence de KL est basée sur des paramètres theta aléatoires.